Hứa Quán Anh sinh ngày 3 tháng 8 năm 1946 ở Phiên Ngung, Quảng Đông, Trung Quốc. Anh có bốn anh em, Hứa Quán Kiệt, Hứa Quán Văn, Hứa Quán Võ và Hứa Châu Địch. Gia đình họ Hứa chuyển từ Trung Quốc sang Hồng Kông năm 1950 và trú tại khu cho người dân nghèo tại Đồi Kim Cương. Cha anh làm việc cật lực và làm mọi công việc để nuôi sống gia đình. Trong gia đình họ Hứa thì nghệ thuật đóng vai trò rất đặc biệt, cha của Hứa Quán Anh chơi vĩ cầm và mẹ thì rất thích Việt Kịch.